我在 Amazon EMR 上的 Apache Spark 作业失败，并出现“Container killed on request”（根据要求终止容器）阶段故障： 由以下原因引起：org.apache.spark.SparkException：作业因阶段故障而中止：阶段 3.0 中的任务 2 失败 4 次，最近一次失败：3.0 阶段中的任务 2.3 丢失（TID 23，ip-xxx-xxx-xx-xxx.compute.internal，执行程序 4）：ExecutorLostFailure（其中一个正在运行的任务导致执行程序 4 退出）原因：标记为失败的容器：主机上的 container_1516900607498_6585_01_000008：ip-xxx-xxx-xx-xxx.compute.internal。退出状态：137。诊断：根据要求终止容器。退出代码为 137

当容器（Spark 执行程序）内存不足时，YARN 会自动将其终止。这会导致“Container killed on request.Exit code is 137”（根据要求终止容器。退出代码为 137）错误。这些错误可能发生在不同的作业阶段，无论是窄还是宽转换。当操作系统内存不足时，YARN 容器也可能被操作系统 oom_reaper 终止，从而导致“Container killed on request.Exit code is 137”（根据要求终止容器。退出代码为 137）错误。

使用以下一种或多种方法来解决“Exit status: 137”（退出状态：137）阶段故障：

通过调整 spark.executor.memory 或 spark.driver.memory 参数来增加容器内存（取决于导致错误的容器）。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

对于单个作业：

使用 --executor-memory 或 --driver-memory 选项来增加运行 spark-submit 时的内存。例如：

如果无法增加容器内存（例如，如果在节点上使用的是 maximizeResourceAllocation），则增加 Spark 分区的数量。这可减少单个 Spark 任务处理的数据量，从而减少单个执行程序使用的总内存。使用以下 Scala 代码添加更多 Spark 分区：

如果在宽转换过程中发生错误（例如 join 或 groupBy），则添加更多的随机分区。默认值为 200。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

对于单个作业：

运行 spark-submit 时，使用 --conf spark.sql.shuffle.partitions 选项添加更多的随机分区。例如：

减少执行程序内核的数量会减少执行程序同时处理的最大任务数，从而减少容器使用的内存量。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

对于单个作业：

使用 --executor-cores 选项减少在运行 spark-submit 时执行程序内核的数量。示例：

当操作系统内存不足时，YARN 容器也可能被操作系统 oom_reaper 终止。如果此错误是因 oom_reaper 引起的，请使用具有更多 RAM 内存的更大实例。您还可以降低 yarn.nodemanager.resource.memory-mb，以防止 YARN 容器耗尽 Amazon EC2 的所有 RAM 内存。

您可以通过检查 Amazon EMR 实例日志来获取 dmesg 命令输出，从而检测错误是否是因 oom_reaper 引起的。首先找到运行被终止 YARN 容器的核心节点或任务节点。您可以使用 YARN 资源管理器 UI 或日志查找此信息。然后检查容器被终止之前和之后在此节点上的 Amazon EMR 实例状态日志，确定导致进程终止的原因。

在下例中，对应于 YARN container_165487060318_0001_01_000244 的 ID 36787 进程被内核（Linux 的内存耗尽终止程序）终止：

如何解决 Amazon EMR 上的 Spark 中的“Container killed by YARN for exceeding memory limits”（由于超出内存限制容器被 YARN 终止）错误？

如何排查 Amazon EMR 上 Spark 作业中的阶段故障？